Miller kết hôn ba lần, với Reese Llewellyn Milner năm 1946, với William Moss năm 1958 và Arthur Cameron năm 1961, giữa những cuộc hôn nhân là các buổi hẹn hò với những người nổi tiếng như Howard Hughes, Conrad Hilton và Louis B. Mayer.[2] Trong cuộc hôn nhân với Reese Llewellyn Milner, khi đang mang thai con gái Mary trong ba tháng cuối, bà bị Milner ném xuống cầu thang và chuyển dạ sớm. Đứa bé chỉ sống vỏn vẹn ba giờ vào ngày 12 tháng 11 năm 1946.[5][6]